DR Pixel:视觉语言模型驱动的页面原生深度研究智能体
🧭 页面原生视觉深度研究智能体
NYU Shanghai · University of California, Berkeley · Rational Dynamics · Toyota Technological Institute at Chicago · New York University
首个开源端到端多模态深度研究代理,直接检索渲染页面图像并引入反事实信用重加权训练,超越 OCR 基线
📌 工作参考价值(4 点)
- 对商品详情页、广告落地页等富视觉文档,可直接用页面截图作为检索与推理单元,替代 OCR 文本化,保留表格、价格、图片、规格等结构化信号,适合多模态 LLM 在电商搜索/推荐中做页面级召回与问答。
- 在 agentic 搜索/推荐流程中,减少中间 OCR 和文本转换步骤,可显著降低工具调用次数与延迟;页面原生检索对含促销规则、对比表、图表的复杂页面更鲁棒,可用于营销活动页理解和智能导购。
- 训练 Agent 轨迹时,teacher trajectory 噪声大;可借鉴 counterfactual credit reweighting,按每个步骤对最终转化的反事实贡献做加权,提升 SFT 数据质量,而非简单过滤失败轨迹。
- 构建评测时,面向文档中混合文本、表格、图像、公式等多模态证据设计问题,比纯文本问答更能反映真实业务中商品详情、广告素材、规则文档的理解能力。
WeAct:动态权重切换作为 Agent 动作
🧭 Agent 模块化 LoRA 动态切换与持续学习 ★ 深度解读
Carnegie Mellon University · Duke University · Meta MSL
把 LoRA 适配器切换做成 Agent 原生工具调用,冻结主干独立训练 Plan/Search/Writing 模块,在 deep-research 任务上超越全参微调和静态合并
📌 工作参考价值(4 点)
- 把流程阶段拆成可独立训练、可工具调用的 LoRA:电商/搜索 Agent 可将意图规划、商品检索、参数对比、文案生成等阶段分别训成 Plan/Search/Write 类 adapter,通过 load_lora/offload_lora 工具调用按需切换;新增能力只需注册新 adapter,不动已有链路。
- 运行时选择优于静态合并:论文显示 TIES/DARE-TIES/TSPA 等静态 LoRA 合并均导致专业化损失,甚至在无 rank 压缩下也有局部 mismatch。业务中若已有多能力 LoRA,建议保留独立 adapter 并在推理时切换,而非合并成一个固定权重。
- 工程实现复用原生 tool-calling 接口:用 MCP 工具注册权重切换动作,不需要单独训练 router 或改造 forward pass;adapter 常驻 GPU,切换时重建 KV cache,控制开销仅占 soft/hard 总时间的 8.2%/2.8%。
- 模块化持续学习可落地到频繁迭代的环节:只刷新 Writing adapter 即可提升报告质量,backbone 和其他 adapter 保持不变,无需回放历史数据;适合在商品文案生成、搜索 query 改写等单一能力上做局部优化而不污染整体。
WEB$HELL:面向智能体网页访问的统一接口
🧭 Agent 网页访问统一接口设计 ★ 深度解读
Yonsei University
提出统一网页访问接口 WEB$HELL,将网页信息与动作编译为可寻址对象并持久缓存,以更低成本在搜索/导航/深度研究任务上全面领先。
📌 工作参考价值(4 点)
- 电商购物 Agent 可将商品列表、筛选器、分页、详情页编译为统一对象;grep 定位到“价格”“尺码”等文本时,通过 association 直接关联可执行的 action address,避免反复解析 DOM 和多工具切换。
- 复用 WEBCACHE 思路:保存页面快照并按 page address 引用,状态变化后生成新版本、旧版只读,适合比价、购物车修改前回看等长程多步任务;工程实现可仿照 addressable cache。
- 优先用确定性 HTML 语义规则而非模型推理做页面编译,针对 select/option/label、a、table 等电商高频元素设计 constructor,成本可控且响应稳定。
- 评估 Agentic web 任务时不要只看 success,应同时跟踪 turns / input tokens / cost;搜索+浏览器+文件系统的简单混合不一定提升效果,统一接口往往更划算。
OneSearch-VL:统一图像/视频的多模态深度研究 Agent
🧭 多模态深度研究 Agent 统一训练 ★ 深度解读
BUAA · CUHK · NTU · THU · HFUT
以视觉证据图 VGEG 与证据/定位双层奖励 EVGR 为核心,统一训练单图、多图、视频深度研究 Agent
📌 工作参考价值(4 点)
- 用显式证据图统一数据构造、SFT 轨迹过滤与 RL 过程奖励:在电商商品图像/视频理解中,可构建「视觉 anchor → 商品实体 → 来源化属性事实 → 答案操作」的 VGEG 结构,使商品问答/导购 Agent 的证据链路可追溯,便于生成训练数据和做细粒度评测。
- 把过程奖励拆成 evidence traceability + visual grounding 两个维度:最终答案正确之外,分别检验检索事实是否被工具观察支持,以及模型是否真的定位到正确商品区域/视频帧。消融显示两者同时使用比只用答案+query 奖励平均高 3.8 个点,适合迁移到电商多模态 Agent 的 RL 训练,降低幻觉和“不看图就答”。
- 评测按 research operation 分层,而不是只报总体准确率:单 anchor lookup、multi-hop、多 anchor join/comparison/arithmetic、knowledge-conditioned counting 等操作化分层,能定位 Agent 具体弱项;电商场景同样可以按“属性抽取、跨商品比较、规格计算、多图统计”拆 benchmark,避免平均分掩盖能力短板。
- 单图/多图/视频联合 SFT 有跨输入迁移收益:共用同一套 action-observation 工具 schema 和动作空间,联合训练达到 55.8 平均分,优于单类型训练;电商场景中商品主图、多角图、商品视频共用一套策略,可以减少多套系统维护成本并提升一致体验。
增量开放式深度研究:结构化 Harness 框架
🧭 LLM 深度研究 · 结构化增量更新
Xiaohongshu Inc. · Zhejiang University
用结构化 Harness 将深度研究报告视为可演化状态,实现增量更新,保持质量同时显著降低成本。
📌 工作参考价值(4 点)
- 可将大模型生成的内容(商品描述、用户画像、知识库条目)视为可演化状态,通过结构化大纲和证据映射实现局部更新,避免每次从零生成,显著降低 token 消耗和搜索调用。
- 持久结构化证据池设计值得借鉴:为搜索/推荐系统沉淀外部检索结果(如市场趋势、用户评论),按证据引用关系缓存,支持跨轮次复用,减少重复检索成本。
- 选择性更新策略可迁移到需要频繁迭代的内容场景,如广告文案、活动页、商品详情页,仅对受新信息影响的小节触发重新生成,保持历史内容连续性的同时控制成本。
- 评估框架中引入内容级 ROUGE-L 和 outline 级 EM F1 度量报告连续性,可改造用于评价推荐理由生成或 item 描述更新的历史一致性。
LongCat-DeepResearch:基于ResearchSpec的多智能体深度研究报告系统
🧭 多智能体深度研究与长文生成 ★ 深度解读
Meituan LongCat Team
用紧凑的ResearchSpec替代全文迭代,结合并行研究员与全局-局部编辑,提升深度研究报告质量
📌 工作参考价值(4 点)
- 将早期迭代从完整文档转移到紧凑可执行的 ResearchSpec(章节范围、研究问题、必需实体、源线索),避免在巨大上下文中反复重写全文,适合改造现有 agent 生成报告/方案的流程。
- 采用 并行独立研究者:每个 section 单独上下文搜索、阅读、撰写,保留完整 section draft,不依赖共享压缩历史,可缓解长上下文中证据丢失;类似做法可迁移到多路召回或者子任务并行执行。
- 编辑阶段分离全局决策与局部文本生成:Global Editor 只指定归属和冲突,Local Editor 基于 directive 修改既有 section,避免整篇重写带来的成本和不稳定,适合需要多轮修订的长文/方案生成。
- 数据构建接口化:用同一套 harness 生成(query, ResearchSpec, traced sections, edit directives),再用于模型 mid-training 和 post-training,实现系统能力与模型能力的迭代闭环。
面向 Agent 搜索的交互感知检索
🧭 Agent 搜索 · 交互感知稠密检索 ★ 深度解读
The University of Queensland
提出交互感知检索器 ITER,用历史查询与轨迹相对监督提升 Agent 搜索证据发现
📌 工作参考价值(4 点)
- 在电商/导购 Agent 的召回或重排中,可将「主需求 + 当前 query + 已尝试 query 序列」作为排序输入,显式告知模型已探索方向;即使不换模型,也能减少已看商品/答案的重复置顶,优先曝光能补充新信息的候选。
- 从用户或 Agent 轨迹构造三层负样本:已点击且有效作为冗余负样本(最高权重,如 3.0),已点击无效作为困难负样本(1.0),曝光未点击作为弱负样本(0.3)。这比传统随机负采样更贴合“边际增益”目标,适合精排/重排阶段。
- 工程上可采用去重式结果接口:把已曝光/已点击的 item 移到侧栏但仍可访问,不占主列表坑位,从而提高后续 step 的新候选覆盖率;论文中该设置带来 26.7% 的延迟访问正样本,对推荐/搜索 Agent 同样有借鉴意义。
- 跨模型迁移时,避免把 free-form pre-search reasoning 作为核心特征;不同 LLM 表达差异大,AgentIR 虽然 search recall 高但 task success 不稳。结构化历史(主 query + 子 query 序列)具有更好的跨 backbone 鲁棒性,更适合多模型混用的线上环境。
DeepWeaver:弥合开放问答中的证据合成鸿沟
🧭 RAG 证据合成 · Thought Block Chain ★ 深度解读
Tsinghua University
用 Thought Block Chain 将噪声证据编织成细粒度、带引用的声明,显著提升开放 QA 的证据利用率与引用质量
📌 工作参考价值(4 点)
- 借鉴 TBC 作为生成前中间表示:在电商/推荐场景中,当需要基于大量候选商品、用户评论、内容文档生成推荐理由或商品综述时,可以先用 LLM 抽取结构化的「claim + keywords + salient info + evidence」块,把长上下文压缩为可管理的块链,再逐块生成最终文案,避免直接给 LLM 全量候选导致的信息丢失。
- 迭代式证据补全机制:DeepWeaver 的 subordinate + commit 流程(识别未覆盖证据 → 生成子 TBC → merge/discard)可以直接迁移到商品推荐理由生成或搜索 answer 合成中:先让模型生成初稿,再找出被忽略的用户痛点或商品卖点,补充后合并去重,能大幅提升内容覆盖率和细节保留度。
- 随机采样证据分轮处理:在广告文案、推荐理由等需要引用大量候选的场景,不必一次把所有商品/文档塞进 context,可按轮随机采样子集构造 TBC,多轮后覆盖全量证据,既能降低单次 context 压力,又能保持最终输出的全面性。
- 可解释性与引用对齐:通过把每个 claim 显式链接到证据片段(商品属性、评论、文档段落),可以方便地做归因和后续验证,适合需要高可信度的搜索推荐答案生成,也方便在线上做引用溯源和质量审核。
超越能力边界:零阶优化驱动的自进化LLM智能体
🧭 Agent 自进化 · 零阶优化突破能力边界 ★ 深度解读
北京理工大学计算机学院智能信息技术北京市重点实验室 · 深圳MSU-BIT大学广东省机器感知与智能计算实验室 · Alaya Lab
通过零阶梯度估计扰动LoRA参数,使Agent在困难样本上也能采样正确轨迹,突破能力边界。
📌 工作参考价值(4 点)
- 零阶优化思想可迁移至推荐系统模型更新:当环境反馈为黑盒(如点击、转化)无法直接求梯度时,可通过对服务策略参数(如召回或排序的LoRA分支)施加随机扰动,利用线上指标变化估计梯度,实现无需过程监督的自优化。
- 并行扰动推理机制大幅降低零阶优化的采样开销:只计算一次骨干预网络输出,多个轻量LoRA支路并行评估,适合在线服务中低延迟要求下进行策略探索。
- 自适应查找缓存(Adaptive Lookup)对重复工具调用(如搜索相同关键词、访问同一页面)做命中复用,节省30%-50%的交互时间,在推荐系统中可类比为缓存用户画像/点击日志,避免重复计算,加速多臂老虎机策略评估。
- 答案困惑度损失(Answer Perplexity Loss)提供平滑、稳定的信号,比稀疏的二元奖励更利于优化收敛;在推荐场景中可用商品描述或用户评论的对数似然作为过程级信号,缓解结果奖励稀疏问题。
FinanceHarness:自主金融深度研究框架
🧭 Agent驱动的金融深度研究框架
Google Cloud AI Research · University of California, Los Angeles
提出面向金融领域的自主深度研究框架及点时间基准FinanceGym,将代理评分从25.3%提升至32.4%
📌 工作参考价值(4 点)
- 领域专用Agent工作流设计:电商搜索推荐Agent可借鉴分层harness思想,封装商品查询、行为分析、趋势预测等工具,构建多步骤推理流水线(如竞品分析→选品策略→文案生成)。
- 点时间基准避免数据泄露:针对促销预测、季节品推荐等时间敏感任务,可参照FinanceGym的pre-cutoff/post-cutoff评估设计,确保测试集不包含未来信息,真实反映模型能力。
- 奖赏建模指导Agent优化:可对推荐报告、搜索策略输出定义自动评分标准(如覆盖率、新颖性、时效性),用于RLHF或拒绝采样微调,提升Agent执行质量。
- 专家验证基准的效用:在构建垂直领域Agent评测集时,引入专家人工验证确定难度和真实水平,避免纯自动指标误导,发现顶尖模型仍有较大改进空间。
深度研究可靠吗?误导性知识导致错误结论
🧭 Agent 可靠性评估与误导知识防御
Beijing University of Posts and Telecommunications · Shanghai Artificial Intelligence Laboratory · Chongqing University of Posts and Telecommunications
构建误导性知识评估框架,发现深度研究智能体易受虚假信息影响,错误结论采纳率高达54.7%
📌 工作参考价值(4 点)
- Agent 信息源验证设计:可借鉴 MisKnow-Agent 的误导文档构造方式(控制权威性、风格),评估搜索/推荐 Agent 在面对看似可信但错误信息时的鲁棒性,尤其适用于长周期市场分析、竞品调研等场景。
- 多阶段验证架构:论文表明预/后研究防御(如交叉模型验证)能减轻但无法消除错误采纳,启示在 RAG 或 Agent 流程中,需在证据进入中间状态时(如每次检索后)就进行实时验证与修正,而非仅依赖最终报告。
- 错误采纳率指标 (FCAR):可直接复用 FCAR 作为系统脆弱性指标,量化注入误导信息后 Agent 输出错误结论的比例,指导防御策略的迭代优化。
- 权威性偏见干预:发现权威来源和正式风格的误导文档更易被采纳,在推荐或搜索 Agent 中可针对性设计去偏模块,如训练模型区分权威度与可信度,避免权威光环效应。
前沿模型是否需要做引用验证?深度研究来源归属的评判模型基准测试
🧭 LLM裁判校准·评估偏差分析
Commercial Technology and Innovation Office, PricewaterhouseCoopers, U.S.
对比8个LLM裁判在引用质量评估中的表现,发现便宜模型即可胜任,且标量F1掩盖的方向性偏差会误导RL训练
📌 工作参考价值(4 点)
- 选裁判不必选最贵:在结构化评估任务(如推荐理由真实性、搜索结果相关性)中,GPT-4o-mini等小模型即可获得与大模型相当的F1,可大幅降低离线评估和RL奖励信号的计算成本。
- 单看F1会踩坑:即使各裁判F1相近,其通过率漂移、假阳性/假阴性率可能差异巨大,这会直接扭曲RL训练的优化方向。评估裁判时必须同时报告方向性偏差指标。
- 校准裁判是使用LLM作为奖励模型的前提:在将LLM用于生成式推荐、对话Agent的自动评分时,应先进行类似的人工标注一致性实验,量化裁判的偏差,并选择与业务目标一致的错误偏好(例如宁愿假阴性还是假阳性)。
- 对抗样本测试很重要:论文采用对抗生成的长文本评估集,并人工仲裁困难案例。类似地,在电商搜索中应构建覆盖歧义、多义等难例的评估集,确保裁判鲁棒性。
SearchSwarm:训练长程深度搜索 Agent 的委托智能
🧭 Agent 长程任务委托与上下文管理 ★ 深度解读
Ant Group · Tsinghua University · Peking University · Renmin University of China
通过 harness 引导主 Agent 分解并委托子任务,再用 SFT 内化委托行为,在 30B 规模实现长程搜索 SOTA
📌 工作参考价值(4 点)
- Harness 设计可直接迁移到电商多 Agent 场景:主 Agent 负责商品调研、竞品分析等长程任务时,借鉴「写简报必须含任务背景、已确认事实、未解决疑点」的原则,让子 Agent 有足够上下文产出高质量结果,减少主 Agent 令牌消耗和重复探索。
- SFT 数据合成策略:利用强模型当主 Agent 搭配弱模型当子 Agent 收集轨迹,迫使主模型学会更严谨的任务分解与结果验证,可用于训练电商客服、供应链优化等场景中的协调 Agent。
- 委托能力泛化证明单 Agent 推理也能受益:即使去掉子调用工具,训练后的模型在单 Agent 任务上表现仍有提升,说明通过多 Agent 轨迹 SFT 可增强模型的结构化问题分解能力,适用于推荐系统复杂查询的逐步推理。
- 强制引用报告可提升溯源可信度:要求子 Agent 报告附带行内引用,主 Agent 最终回答也需附来源,这对电商商品推荐、信息核查等需要可解释输出场景有直接借鉴意义;实现方式是在 prompt 中约束输出格式并以此过滤训练数据。
DuMate-DeepResearch:可审计的多智能体深度研究框架
🧭 多智能体深度研究架构与动态规划 ★ 深度解读
Baidu AI Cloud
通过图动态规划、递归两级执行和量规引导推理,实现可审计且 SOTA 的深度研究报告生成。
📌 工作参考价值(4 点)
- 可审计的多智能体架构:将核心推理与工具生态解耦,使每一步规划和工具调用都可追踪。在电商推荐流程中,可将召回、排序、解释生成等环节分解为独立可审计的 Agent,便于调试与合规。
- 图动态规划与反思:用有向无环图管理长程子任务,支持粗到细扩展、回溯和剪枝。生成式推荐中的候选集生成、过滤、排序等步骤可建模为 DAG,遇到低质量结果时自动重规划,提高整体鲁棒性。
- 递归两级执行:外层规划代理将复杂搜索子任务委托给内层搜索代理,隔离噪声和局部失败。推荐系统中,可将高代价的实时检索或内容生成封装为子 Agent,防止单个子任务拖慢全局。
- 量规引导的推理与生成:动态生成任务特定的质量准则,注入搜索、规划和报告合成阶段,作为实时推理约束。生成推荐理由或商品描述时,可设计类似量规来强制证据链接、多源校验,降低幻觉。
Struct-Searcher:基于信念修正的多模态深度检索结构思维框架
🧭 多模态深度检索 · 信念修正 · 结构化思维 ★ 深度解读
CUHK · LIGHTSPEED · PKU · Tongji University · THU
提出结构思维范式,以多模态结构图显式管理冲突证据,实现跨模态冲突感知的深度信息检索,平均提升17.2%准确率。
📌 工作参考价值(4 点)
- 冲突消解可借鉴结构图:在电商多模态商品信息(如详情图与评价视频矛盾)中,可构建假设–证据图,用支持/反驳关系驱动信息筛选,避免线性证据累积导致的错误传播。
- 可解释的校验链:MSG 显式记录 Goal → Hypothesis → Evidence 的依赖与验证链路,便于追踪 Agent 推理过程,适合对答案质量要求高的搜索、客服等场景。
- 即插即用与模型无关:框架对 Backbone 不敏感,在 GPT-4o 到 GPT-5 等 5 种模型上均稳定提升,可直接嵌入现有 VLM 驱动的 Agent 管线。
- 并行探索与剪枝:对歧义输入(如商品模糊图)可并行生成竞争假设并验证,通过冲突证据即时剪枝,减少级联错误,可迁移到需要多跳推理的推荐解释或生成式推荐流程。
DeepWeb-Bench:需大规模跨源证据与长程推导的深度研究基准
🧭 深度研究智能体评估与诊断 ★ 深度解读
Peking University
提出一个包含矩阵任务、溯源记录和校准维度的深度研究基准,揭示检索非瓶颈、推导与校准才是主要挑战。
📌 工作参考价值(4 点)
- 电商/市场分析Agent构建:可复用矩阵任务格式(实体×分析维度)和四能力(检索、推导、推理、校准)设计,用于自动生成竞品报告或行业分析。
- 信息抽取可靠性:引入源溯源等级(T1-T4)和跨源一致性检查,可作为电商知识库或RAG系统的证据可信度评估模板,减少幻觉。
- 工程实现启发:发现检索并非瓶颈,应重点投入多步数值组合与校准逻辑,例如在推荐系统的归因分析或财务推演Agent中显式要求推导步骤。
- 领域专长差异:模型在不同品类表现差异大(相关仅0.61),提示为细分场景(如新能源车、芯片)定制微调或专用提示链,而非通用方案。
Argus:证据拼装实现可扩展深度研究Agent
🧭 Agent多智体协作优化 ★ 深度解读
MiroMind AI
通过Searcher和Navigator协作构建共享证据图,将深度研究转化为证据拼图,实现并行搜索的线性扩展。
📌 工作参考价值(4 点)
- 用证据图解耦搜索与推理:在电商知识图谱问答或Agent任务规划中,可以将并行执行的子任务结果抽象为图结构(节点=证据/主张,边=支持/矛盾),由协调Agent在图层面进行验证与派发,避免直接拼接长上下文,压缩比可达1200:1。
- 对比奖励驱动验证学习:借鉴GRPO+对比奖励(verification前后得分差),训练Agent学会识别回答中的缺失证据并主动查询,在电商多跳问答或生成式推荐中可让模型自动补全信息缺口,而非被动合并。
- 独立训练、组合推理:将Searcher(执行器)和Navigator(协调器)分开训练,Searcher保持标准ReAct,Navigator通过RL掌握何时验证、派发、合成,推理时可按需切换单/并行模式,类似电商场景中前端搜索Agent与后端推理Agent的解耦设计。
- 图结构提高可解释性:最终答案每个声称都追溯到证据节点和URL,实现完全可审计。在电商推荐理由生成中,可构建主张-证据链,提升用户信任和合规性。
AgentDisCo:开放式深度研究智能体的解耦与协作
🧭 Agent ★ 深度解读
Xiaohongshu Inc.
通过解耦信息探索与利用为对抗式循环,并构建元优化策略库,在多个深度研究基准上超越闭源系统